隨著AI大模型持續向更大參數、更長Context Window和更高推理吞吐演進，HBM正在從“拼頻寬”進入一場更深層次的架構革命。

🔷4nm Base Die推動Memory Controller、RAS與PE全面整合
🔷從Custom HBM到zHBM，xPU與DRAM最終走向3D垂直融合

看完三星這份關於 HBM Base Die 的最新技術報告後，我發現一個非常重要的趨勢正在浮現：未來HBM的競爭，可能不再只是DRAM堆多少層、頻寬做到多少TB/s，而是Base Die究竟能夠承載多少邏輯與計算功能。

從4nm先進邏輯工藝匯入HBM4 Base Die，到Memory Controller、RAS、Memory Extension甚至Processing Element逐步下沉，再到最終通過 WoW + Hybrid Bonding 實現xPU與DRAM的3D垂直融合，三星實際上勾勒出了一條非常清晰的路線：Standard HBM → Custom HBM → Advanced HBM → zHBM。未來的HBM，正在從單純的高頻寬記憶體器，向“Memory + Logic + Compute”深度融合的AI系統級晶片演進。

一、這份材料真正想說明什麼？

核心並不是單純討論 HBM4/HBM5 頻寬繼續提升，而是在提出一個更重要的架構變化，隨著 HBM Base Die 從傳統 DRAM 工藝轉向先進邏輯工藝，Base Die 將從一個主要承擔 PHY、TSV 和測試功能的“被動底層晶片”，逐漸升級為具備 Memory Controller、RAS、外部記憶體擴展甚至計算能力的“主動邏輯晶片”，最終推動 HBM 從 Standard HBM → Custom HBM → Advanced HBM → zHBM 演進，並走向 xPU 與 DRAM 的真正3D融合。

二、為什麼HBM Base Die必須轉向先進邏輯工藝？

Core Die（C-die）負責 DRAM Cell 和 Core；

Base Die（B-die）負責 HBM PHY、TSV通訊以及測試等功能。

目前 HBM 頻寬持續快速增長，xPU 與 HBM 之間已經達到 1–2K I/O、單I/O 8–16Gbps、整體約1–5TB/s 的資料傳輸規模。

但繼續提高頻寬開始遇到兩個核心瓶頸：TSV數量/Pitch極限 + Base Die PHY I/O數量和速度極限。更重要的是，即使每bit能耗不斷降低，HBM整體功耗仍然持續上升。

因此三星認為，從 HBM4開始，Base Die採用先進Logic Process已經成為抑制功耗增長的關鍵技術。

三星在HBM4中採用D1c DRAM Core Die + Logic 4nm Base Die，其核心目標就是降低功耗 + 縮小Active Area。

三星甚至把這定義為真正的DRAM與Advanced Logic Integration的開始。

三、核心變化：Base Die從“PHY晶片”變成“HBM SoC”

這是整份報告最值得關注的地方。

三星提出 Custom HBM（cHBM） 概念。

傳統 Standard HBM 的 Base Die 主要承擔基本 Data Path 和 Test Path 功能；但採用先進邏輯工藝以後，三星認為完全可以把 Base Die 做成類似 SoC-like B-die。

同時上層 Core Die仍然可以採用標準化DRAM Stack。也就是Standard C-die Stack + Customized Logic Base Die = Custom HBM

這意味著未來不同GPU、TPU、AI ASIC廠商，可以針對自己的AI計算架構定製Base Die。

四、Phase 1：把xPU的一部分功能“搬進HBM”

三星第一階段稱為 xPU Area Reclamation。

原因非常直接，傳統GPU/AI ASIC繼續擴大已經越來越困難：

Process Scaling放緩 → Monolithic Die逼近Reticle Limit → Chiplet增加 → Interposer也開始逼近面積極限。

因此三星提出一個非常有意思的思路，既然HBM Base Die已經採用先進邏輯工藝，為什麼不利用Base Die上的矽面積，替GPU承擔一部分邏輯功能？

首先就是縮小 HBM PHY。傳統 Standard HBM4 中，HBM PHY 是Base Die最大的模組之一，面積甚至超過 8mm × 4mm。

Custom HBM則通過先進邏輯工藝，把傳統HBM PHY替換成更加緊湊的D2D（Die-to-Die）Interface從而獲得更小PHY + 更短Channel + 更低pJ/bit + 更多可利用矽面積。

五、Memory Controller也開始從GPU搬到HBM Base Die

三星明確提出Memory Controller Offloading。也就是把原本位於 GPU/xPU SoC 中的HBM Memory Controller直接搬到Custom HBM Base Die。這樣可以釋放GPU非常寶貴的先進製程矽面積。

報告甚至明確表示傳統HBM Memory Controller正在被移植到Custom HBM中。

所以未來的架構可能從GPU → Memory Controller → HBM PHY → HBM變成GPU → D2D → HBM Base Die（Memory Controller）→ DRAM

這已經開始模糊“GPU”和“Memory”的邊界。

六、Base Die甚至可以加入SRAM，提升HBM可靠性

三星進一步提出SRAM-Based Cell Repair Scheme。

傳統HBM的Repair Resource主要位於Core Die中，因此容量和靈活性有限。

未來可以利用Base Die空閒面積整合大量SRAM。

當DRAM Cell出現Fail時，Memory Controller識別Fail Address → Redirect到Base Die SRAM Repair Resource。

這樣可以實現Cell-level細粒度Repair；更多Repair Resource；多Channel共享Repair資源；提升RAS；提升HBM Yield與可靠性。

七、Phase 2：Base Die開始加入更多“增值功能”

第二階段，三星提出Additional Functions。

原因是即使把Memory Controller搬進Base Die以後，Base Die依然存在大量未利用的Silicon Real Estate。

於是這些面積可以繼續增加RAS + Sensors + Test + Memory Extension + Processing Elements。

未來Custom HBM Base Die可以整合Thermal Sensor、Voltage Sensor、Process Sensor、Aging Monitor、OD-ATE、Pattern Generator，實現即時Telemetry以及On-chip Self-test，從而提高測試覆蓋率和製造良率。

因此未來HBM越來越像一個完整的Memory SoC。

八、HBM Base Die甚至可以成為“記憶體擴展Hub”

隨著AI模型Context Window快速擴大，KV Cache以及長期Memory Storage需求不斷增長。

三星認為下一代AI SoC不僅需要更高Bandwidth，同時也迫切需要更大的Memory Capacity。因此提出Memory Extension via B-die。

Base Die外圍可以直接整合Memory Extension PHY + Controller然後連接外部Memory。這樣GPU → HBM Base Die → External Memory相比傳統GPU → PCIe → External Memory可以實現更高Bandwidth + 更低Latency。

這實際上已經讓HBM從“高頻寬記憶體器”向AI Memory Hub發展。

九、更加激進：把Processing Element也塞進HBM Base Die

這可能是整份報告最值得關注的技術之一。

三星提出Processing Elements Offloading。也就是把GPU/xPU的一部分計算任務直接下沉到Base Die中的PE（Processing Element）。這樣就形成Memory + Controller + Processing Element融合架構。

它最大的優勢是讓計算更靠近資料，從而減少GPU與HBM之間的資料搬運。

三星指出，這可以降低D2D Bandwidth需求，從而進一步降低功耗和熱負擔。

當然問題也很明顯Base Die面積有限 + PE會進一步提高Power Density和散熱壓力。

十、aHBM：HBM開始從Memory變成“Compute + Memory”

在此基礎上，三星進一步提出Advanced HBM（aHBM）。

它把Processing Element直接整合到Base Die。

系統架構從xPU → Interposer → HBM逐漸變成xPU + aHBM（Memory Controller + PE + DRAM）

三星認為這種架構能夠顯著減少Interposer上的Data Movement，從而獲得更高的系統級能效。

這背後的核心思想其實就是Move Compute Closer to Memory。也就是“存算靠近”，甚至進一步走向“存算融合”。

十一、Phase 3：終極形態zHBM——GPU直接堆在DRAM下面

三星給出的第三階段，也是整份報告最激進的部分 zHBM

傳統GPU + Interposer + HBM屬於典型2.5D封裝。

三星設想的zHBM則直接取消2.5D Interposer把xPU + DRAM C-die Stack進行真正的垂直3D整合。

DRAM Core Die
↓
DRAM Core Die
↓
DRAM Core Die
↓
DRAM Core Die
↓
xPU SoC
↓
Substrate

同時採用Distributed I/O縮短資料在HBM Stack中的傳輸距離，並消除傳統HBM PHY / D2D Interface從而追求極低功耗。

十二、zHBM真正解決的是AI時代的“功耗牆”

三星認為zHBM最大的優勢不是單純Bandwidth，而是I/O Power大幅下降。

通過去掉SERDES等傳統I/O模組，可以減少大量無效資料傳輸功耗。

報告給出的概念性比較中zHBM I/O Power相較HBM4可降低約70%。

在其假設場景下，DRAM頻寬則可以達到約 230%，同時節省約 100W，把節省出來的功率預算進一步給GPU使用。

因此三星真正想表達的是，AI時代HBM競爭的核心正在從“單純追求TB/s”轉向“在有限Power Budget下實現最大Bandwidth與TPS”。

十三、zHBM背後的兩大關鍵技術：WoW + HCB

要實現這種真正3D HBM，三星認為需要兩大技術體系。

第一類是先進封裝：WoW（Wafer-on-Wafer）+ HCB（Hybrid Copper Bonding）用來實現超高密度I/O。

第二類則是：DRAM + SoC Integrated Design Methodology

因為GPU/xPU與DRAM已經真正融合，所以不能再分別設計。未來需要DRAM Design Flow + SoC Design Flow + Co-architecture統一協同，包括RTL、DFT、PnR、Timing Closure、SI、PI、PV等。這意味著未來HBM技術已經不僅僅屬於“DRAM設計”，而越來越成為Logic + DRAM + Advanced Packaging + System Architecture四者融合。

三星認為HBM Base Die採用先進邏輯工藝只是第一步，真正的目標是利用Base Die把Memory Controller、RAS、SRAM Repair、Memory Extension乃至Processing Element逐步搬到HBM內部，讓HBM從單純的“高頻寬DRAM”演變成高度定製化的Memory SoC，並最終通過zHBM實現xPU與DRAM的3D垂直融合。 (芯聯匯)

彙整鉅亨號中所有使用「Custom HBM」關鍵字，所發布的內容 (依照時間排序，最新在前，舊的在後)`